HodgeCover: Higher-Order Topological Coverage Drives Compression of Sparse Mixture-of-Experts
HodgeCover:高阶拓扑覆盖驱动稀疏MoE压缩
🧭 稀疏MoE压缩 · 高阶拓扑
Princeton University
利用Hodge分解暴露MoE专家三元合并障碍,通过覆盖谐和核与临界三角形实现无学习压缩
📌 工作参考价值(3 点)
- 若业务模型包含MoE层(如多任务推荐、多域适配),可直接使用基于KL散度的专家合并障碍构建方法,并通过Hodge分解识别被成对信号掩盖的三元合并风险,避免压缩后精度异常下降。
- 方法无重训练,适合在线服务模型快速压缩;混合变体(HodgeCover + 权重剪枝)可灵活平衡保留质量与压缩率,提供现实可行的压缩前沿。
- 拓扑视角可迁移至其他多组件联合决策问题,如推荐中多兴趣路由模块、多Agent协作选择等,考虑高阶交互避免局部最优。